When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
当 EOS Token 不一致：理解 On-Policy 蒸馏中的长度膨胀
🧭 On-policy 蒸馏终止 token 失配 ★ 深度解读
University of North Carolina at Chapel Hill · Brigham Young University · Microsoft
发现 base 学生与 post-trained 教师的终止 token 失配是 OPD 长度膨胀主因，语义 EOS 聚合对齐终止概率可有效缓解
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景用小模型蒸馏大模型生成推荐理由、query 改写或对话回复时，务必检查学生和教师模型的 EOS token 配置及实际概率分布；即使声明停止集相同，也可能分别偏好 <eos> 与 <end_of_turn>，导致生成不停止、重复输出。
- 修复不能只改 decoding 的 stopping set，要在训练目标层把语义等价的终止 token 概率求和，作为同一个 stop 动作进行监督（semantic EOS aggregation）；否则学生已有的停止动作会被负梯度持续压制，且教师偏好的 token 因采样概率极低几乎得不到直接监督。
- OPD 训练中应监控 response length、clipping ratio、termination probability 三条曲线；若正确答案早已出现但长度继续增长、终止概率骤降，优先怀疑 EOS 失配，而不是先调学习率或换 KL 目标。
- 多轮 Agent 或工具调用场景不要盲目聚合所有特殊 token：需定义 context-dependent termination classes，区分 end-of-turn、tool call、document boundary、message completion，否则会破坏交互控制流。